Ân Phú là một xã miền sơn cước, xã có diện tích khoảng 9 km², trên 2.000 dân, giáp ranh với 8 xã: Đức Hoà, Đức Lạc, Đức Đồng (huyện Đức Thọ), Đức Giang (huyện Vũ Quang), Sơn Thuỷ, Sơn Bình, Sơn Trà, Sơn Long (huyện Hương Sơn).

Xã Ân Phú nằm dưới chân núi Mồng Gà và bên bờ sông Ngàn Sâu - thượng nguồn sông La, cách bến Tam Soa (Linh Cảm) khoảng 3 km về phía tả ngạn sông Ngàn Sâu. Xã có trục đường liên huyện từ Sơn Long (quốc lộ 8) đi thị trấn Vũ Quang, trước đây nằm trên tuyến giao thông đường thuỷ Bắc - Nam.